Training Optimization for Artificial Neural Networks

Debido a la habilidad para modelar problemas complejos, actualmente las Redes Neuronales Artificiales (nn) son muy populares en Reconocimiento de Patrones, Minería de Datos y Aprendizaje Automático. No obstante, el elevado costo computacional asociado a la fase en entrenamiento, cuando grandes bases de datos son utilizados, es su principal desventaja. Con la intención de disminuir el costo computacional e incrementar la convergencia de la nn, el presente trabajo analiza la conveniencia de realizar pre-procesamiento a los conjuntos de datos. De forma específica, se evalúan los métodos de grafo de vecindad relativa (rng), grafo de Gabriel (gg) y el método basado en los vecinos envolventes k-ncn. Los resultados experimentales muestran la factibilidad y las múltiples ventajas de esas metodologías para solventar los problemas descritos previamente.Debido a la habilidad para modelar problemas complejos, actualmente las Redes Neuronales ArtiÀciales (nn) son muy populares en Reconocimiento de Patrones, Minería de Datos y Aprendizaje Automático. No obstante, el elevado costo computacional asociado a la fase en entrenamiento, cuando grandes bases de datos son utilizados, es su principal desventaja. Con la intención de disminuir el costo computacional e incrementar la convergencia de la nn, el presente trabajo analiza la conveniencia de realizar pre-procesamiento a los conjuntos de datos. De forma especíÀca, se evalúan los métodos de grafo de vecindad relativa (rng), grafo de Gabriel (gg) y el método basado en los vecinos envolventes k-ncn. Los resultados experimentales muestran la factibilidad y las múltiples ventajas de esas metodologías para solventar los problemas descritos previament

Back propagation with balanced MSE cost Function and nearest neighbor editing for handling class overlap and class imbalance

The class imbalance problem has been considered a critical factor for designing and constructing the supervised classifiers. In the case of artificial neural networks, this complexity negatively affects the generalization process on under-represented classes. However, it has also been observed that the decrease in the performance attainable of standard learners is not directly caused by the class imbalance, but is also related with other difficulties, such as overlapping. In this work, a new empirical study for handling class overlap and class imbalance on multi-class problem is described. In order to solve this problem, we propose the joint use of editing techniques and a modified MSE cost function for MLP. This analysis was made on a remote sensing data . The experimental results demonstrate the consistency and validity of the combined strategy here proposedPartially supported by the Spanish Ministry of Education and Science under grants CSD2007–00018, TIN2009–14205–C04–04, and by Fundació Caixa Castelló–Bancaixa under grants P1–1B2009–04 and P1–1B2009–45; SDMAIA-010 of the TESJO and 2933/2010 from the UAE

Tratamiento del desbalance en problemas con múltiples clases con ECOC

El problema del desbalance de clases puede producir un deterioro importante en la efectividad del clasificador, en particular con los patrones de las clases menos representadas. El desbalance en el conjunto de entrenamiento (CE) significa que una clase es representada por una gran cantidad de patrones mientras que otra es representada por muy pocos. Los estudios existentes se encuentran orientados principalmente a tratar problemas de dos clases, no obstante, un importante número de problemas reales se encuentran representados por múltiples clases, donde resulta más difícil su discriminación para el clasificador. El éxito de la Mezcla de Expertos (ME) se basa en el criterio de divide y vencerás. En su funcionamiento general, el problema es dividido en fragmentos más pequeños que serán estudiados por separado. De este modo, el modelo general es poco influenciado por las dificultades individuales de sus componentes. La idea principal del estudio aquí mostrado, es construir una Mezcla de expertos cuyos miembros serán entrenados en una parte del problema general y de este modo, mejorar el rendimiento del clasificador en el contexto de múltiples clases. Para este fin, se hace uso de los métodos conocidos como Error-correcting output codes (ECOC), que permiten realizar una codificación en parejas de clases el problema de estudio. Resultados experimentales sobre conjuntos de datos reales, muestran la viabilidad de la estrategia aquí propuesta

Realidad virtual y entornos virtuales como apoyo al acercamiento universidad-comunidad: el caso de la Facultad de Ingeniería de la UAEMex|

Las instituciones de educación superior, en su mayoría, cuentan con sitios web mediante los cuales dan a conocer información relevante acerca de las diferentes carreras o servicios que ofrecen. Sin embargo, comúnmente la información mostrada es insuficiente, situación que podría provocar desinterés por parte del usuario al visitar el sitio y encontrarse con información limitada para sus necesidades. Para este fin, en la Facultad de Ingeniería de la Universidad Autónoma del Estado de México (UAEM) se desarrolló un sistema de realidad virtual que permite a la comunidad en general conocer los sitios más representativos de la facultad. Con la implementación de este sitio se busca que los visitantes virtuales tengan conocimiento previo tanto de las áreas como de los servicios que ofrece, y lograr con ello un mayor acercamiento de la comunidad universitaria inscrita y público en general al quehacer diario universitario

A hybrid method to face class overlap and class imbalance on neural networks and multi-class scenarios

Class imbalance and class overlap are two of the major problems in data mining and machine learning. Several studies have shown that these data complexities may affect the performance or behavior of artificial neural networks. Strategies proposed to face with both challenges have been separately applied. In this paper, we introduce a hybrid method for handling both class imbalance and class overlap simultaneously in multi-class learning problems. Experimental results on five remote sensing data show that the combined approach is a promising method

IMPLEMENTACIÓN DE VISIÓN POR COMPUTADORA A UN MÓVIL AUTÓNOMO BASADO EN RASPBERRY PI

Se presenta un prototipo de un Móvil autónomo basado en visión por computadora, cuyo objetivo es la recolección y clasificación de desechos. La unidad de procesamiento del móvil es la tarjeta de desarrollo Rasberry PI B+, esta es en esencia una computadora, soportada por un procesador ARM y un sistema operativo fundamentado en Linux, debido a sus características proporciona un entorno de hardware capaz de ejecutar algoritmos diseñados para implementar visión por computadora, de igual forma permite la interacción con diversos sensores y actuadores digitales. El algoritmo de visión por computadora aplicado para detección de colores tiene las bases en el análisis de modelo de color HSV, mientras que para la detección de formas se basa en el algoritmo Canny. Con referencia en los algoritmos de visión por computadora ya mencionados, el móvil es programado para que realice una exploración de su entorno y de esta manera pueda distinguir y clasificar objetos, para finalizar se presentan algunos resultados y las conclusiones generadas

Procesamiento de bases de datos escolares por medio de redes neuronales artificiales

El estudio de bases de datos escolares es un área que ha sido poco estudiada y cuestionada desde el punto de vista de la minería de datos o de la inteligencia artificial. Actualmente, existen algunos trabajos que muestran su procesamiento mediante algoritmos de aprendizaje automático o "inteligentes"; sin embargo, no se detienen en analizar la pertinencia de procesar datos cualitativos como si fueran cuantitativos. En este artículo se estudia este problema con el uso de tres modelos de red neuronal. Los resultados evidencian la capacidad de estos modelos para clasificar con un porcentaje de acierto superior a 95% las tendencias en los estudiantes utilizando principalmente datos cualitativos.The analysis of school mentoring databases is a poorly studied area and it is usually questioned from the point of view of data mining or artificial intelligence. Nowadays, there are some works about the processing of such a type of databases through machine learning algorithms, as well as the so called "smart algorithms". However, the relevance of analyzing and processing qualitative data as if they were quantitative remains still interesting. In this research, the problem of analyzing school mentoring databases by means of three artificial neural network models are thoroughly studied. Results shows the ability of these models to classify the correct trends in students’ statistics using mainly qualitative data with a high degree of certainty (more than 95% of accuracy)

Análisis del error en redes neuronales: Corrección de los datos y distribuciones no balanceadas

El problema del desbalance de las clases aparece cuando existen muchos más elementos de una o algunas clases, que de la otra u otras clases (dos o múltiples clases). Esta desproporción en el tamaño de las diferentes clases en un mismo conjunto de datos, puede ocasionar una disminución en la efectividad del clasificación sobre las clases menos representadas. En el caso específico de las redes neuronales artificiales, el desbalance de las clases ocasiona lentitud en la convergencia de las clases minoritarias, lo que se traduce en una pobre capacidad de generalización del clasificador. En este trabajo se estudia y trata el problema del desbalance de las clases en el ámbito de las redes neuronales artificiales. Para ello se entrena la red con el algoritmo back-propagation con procesamiento por grupos desde tres enfoques distintos: (a) Incluyendo funciones de coste al proceso de entrenamiento, (b) aplicando redes neuronales modulares (descomposición del problema), y (c) reduciendo la región de solapamiento de las clases menos representadas. En síntesis, este trabajo presenta un estudio empírico comparativo de los efectos y posibles tratamientos del problema del desbalance de las clases sobre tres modelos de red neuronal artificial

A Class-Incremental Learning Method Based on Preserving the Learned Feature Space for EEG-Based Emotion Recognition

Deep learning-based models have shown to be one of the main active research topics in emotion recognition systems from Electroencephalogram (EEG) signals. However, a significant challenge is to effectively recognize new emotions that are incorporated sequentially, as current models must perform retraining from scratch. In this paper, we propose a Class-Incremental Learning (CIL) method, named Incremental Learning preserving the Learned Feature Space (IL2FS), in order to enable deep learning models to incorporate new emotions (classes) into the already known. IL2FS performs a weight aligning to correct the bias on new classes, while it incorporates margin ranking loss and triplet loss to preserve the inter-class separation and feature space alignment on known classes. We evaluated IL2FS over two public datasets (DREAMER and DEAP) for emotion recognition and compared it with other recent and popular CIL methods reported in computer vision. Experimental results show that IL2FS outperforms other CIL methods by obtaining an average accuracy of 59.08 ± 08.26% and 79.36 ± 04.68% on DREAMER and DEAP, recognizing data from new emotions that are incorporated sequentially

A Class-Incremental Learning Method Based on Preserving the Learned Feature Space for EEG-Based Emotion Recognition

Deep learning-based models have shown to be one of the main active research topics in emotion recognition systems from Electroencephalogram (EEG) signals. However, a significant challenge is to effectively recognize new emotions that are incorporated sequentially, as current models must perform retraining from scratch. In this paper, we propose a Class-Incremental Learning (CIL) method, named Incremental Learning preserving the Learned Feature Space (IL2FS), in order to enable deep learning models to incorporate new emotions (classes) into the already known. IL2FS performs a weight aligning to correct the bias on new classes, while it incorporates margin ranking loss and triplet loss to preserve the inter-class separation and feature space alignment on known classes. We evaluated IL2FS over two public datasets (DREAMER and DEAP) for emotion recognition and compared it with other recent and popular CIL methods reported in computer vision. Experimental results show that IL2FS outperforms other CIL methods by obtaining an average accuracy of 59.08 ± 08.26% and 79.36 ± 04.68% on DREAMER and DEAP, recognizing data from new emotions that are incorporated sequentially